Data инженер

Задачи:

• разработка и наполнение Feature Store (Feast)
• сборка витрин из сырых данных
• разработка и оптимизация пайплайнов сборки данных
• систематизация и унификация пайплайнов сборки витрин
• организация учета данных, подготовка описания витрин
• разработка API для доступа к данным

Критерии успеха:

• python, spark, airflow, gitlab, docker, kafka, fast api, feast, MLFlow, dvc
• python - продвинутый
• fast api - продвинутый
• gitlab - продвинутый
• docker - средний
• airflow - средний
• spark - достаточно опыта работы с DataFrame API или продвинутый SQL
• MLFlow - начальный
• kafka - на уровне пользователя
• feast - опционально
• dvc - опционально
• уверенное владение Python
• опыт работы со Spark (желательно связка HDFS, Hive, Spark, при этом достаточно работы с DataFrame API PySpark)
• опыт работы с AirFlow
• опыт работы с системами контроля версий (у нас GitLab, плюсом будет представление о GitLab CI/CD)
• опыт работы с командной строкой в Linux-системах
• базовые знания Docker (плюсом опыт работы с Kubernetes)
• наличие базовых представлений о Kafka
• наличие базовых представлений о разработке сервисов с использованием Fast API
• готовность погружаться в предметную область при подготовке витрин данных (читай "самостоятельно учитывать бизнес-логику при подготовке витрин")
• желателен опыт работы с MLOps (у нас Feast, MLFLow, dvc)

Мы предлагаем:

• Работа у лидера – решение масштабных задач в крупнейшей частной страховой компании России.
• Команда профессионалов – молодая команда с амбициями, интересными задачами и грандиозными планами.
• Забота о благополучии – программы управления здоровьем, многообразие сервисов и корпоративных привилегий для сотрудников.
• Достойное вознаграждение – конкурентная зарплата и прозрачная мотивация, привязанная к результатам.
• Непрерывное развитие – безграничные возможности обучения и работа в команде с экспертами рынка.
• Внимание к новичкам – дружелюбная и комфортная программа адаптации и поддержка коллег для быстрого выхода на 100-процентную эффективность